Beyond Retrieval: Analytic Memory for Multimodal Agents
超越检索:多模态智能体的分析记忆框架
🧭 多模态Agent记忆 · 结构化分析访问
HKUST · ByteDance
提出分析记忆,将多模态交互历史结构化为可查询表以支持过滤、聚合等分析运算
📌 工作参考价值(4 点)
- 对话式推荐/电商助手中,用户长期交互(对话、图片、购买记录)可自动提取为结构化属性对(偏好、行为),构建动态分析视图,答导购询问(如“上个月买的最贵的商品”)
- 记忆感知规划器的“分解-路由”模式可直接用于推荐Agent:将复杂用户查询拆解为检索部分(召回相关物品/历史)与分析部分(聚合、排名、时间对比),再交给对应工具,提升多步推理准确性
- 物化分析表的设计思想可落地为实时特征工程:从流式多模态日志中自动发现重复字段并固化,为推荐模型提供交互聚合特征
- 工程上,可借鉴属性值提取的出处链接机制,让分析结果可解释、可溯源,增强用户信任与调试效率